Do các hoạt động chống đối thực dân phong kiến, Phan Bôi bị đuổi học. Sau đó, Hoàng Hữu Nam ra Hà Nội làm việc cho nhà in Ngô Từ Hạ và tiếp tục hoạt động trong phong trào thanh niên học sinh ở thủ đô.

Năm 1929, Phan Bôi được phân công vào công tác hợp pháp ở Sài Gòn, rồi gia nhập An Nam Cộng sản Đảng. Năm 1930, Phan Bôi được kết nạp vào Đảng Cộng sản Việt Nam, sinh hoạt cùng chi bộ với Hải Triều và Trần Văn Giàu…

Là đảng viên trẻ, đầy nhiệt huyết, Phan Bôi được tổ chức tin tưởng, giao nhiệm vụ tham gia lãnh đạo Hội phản đế và Hội học sinh thành phố. Các Hội này xuất bản hai tờ báo: Tân học sinh do Trần Văn Giàu phụ trách và báo Giải phóng do Phan Bôi đảm nhận. Ngoài ra, Phan Bôi còn giảng dạy lý luận sơ yêu cho nhiều thanh niên, học sinh.

Tháng 01/1931, Ban chấp hành Trung ương Đảng thông báo cho các tổ chức Đảng trong cả nước cổ động cho các ngày Quốc tế phụ nữ 8/3, kỷ niệm ngày công xã Paris 18/3. Tháng 02 năm 1931, sau cuộc đình công của công nhân Nhà Bè, Xứ ủy Nam Kỳ chỉ thị cho các chi bộ Sài Gòn hưởng ứng, tham gia phong trào, trong đó có tổ chức biểu tình kỷ niệm cuộc khởi nghĩa Yên Bái.

Chiều ngày 08.02.1931, cuộc mítting kỷ niệm khởi nghĩa Yên Bái được tổ chức với nội dung kêu gọi liên minh công nông, yêu cầu tăng lương, giảm giờ làm. Ban tổ chức cuộc mít ting có ba người, đồng chí Phan Bôi lúc này phụ trách tuyên truyền của Xứ ủy, có bí danh là Quảng, được phân công làm trưởng ban; Lý Tự Trọng (tức Hai) làm nhiệm vụ bảo vệ. Địa điểm mít ting nằm trên đường Larégnere, cạnh một sân bóng đá. Lúc quần chúng xem bóng vừa đổ ra, đứng lại để nghe nói chuyện, nhưng người được phân công phụ trách diễn thuyết vẫn chưa có mặt (sau này mới biết là đã bị bắt), do đó đồng chí Phan Bôi phải lên thay thế. Cuộc diễn thuyết diễn ra chớp nhoáng, vừa kết thúc thì bọn cảnh sát ập đến. Tên Cò Legrand nhảy vào bắt đồng chí Phan Bôi, lập tức Lý Tự Trọng dùng súng lục bắn hai phát, tên Cò Legrand gục xuống.

Trong vụ này, Phan Bôi, Lý Tự Trọng và một số đồng chí khác bị bọn thực dân bắt gia ở khám Catinat, rồi đưa vào Khám Lớn (Sài Gòn), riêng Lý Tự Trọng bị kết án tử hình.

Ngày 07.5.1933, Phan Bôi và một số đồng chí bị thực dân Pháp đưa ra xét xử trong vụ án mà chúng gọi là "Vụ án Đảng Cộng sản Đông Dương". Phan Bôi bị kết án 20 năm tù và bị đày ra Côn Đảo ngày 13.5.1933. Tại Côn Đảo, Phan Bôi cùng một số đồng chí khác lập ra chi bộ Đảng và có nhiều hoạt động nhằm giữ vững khí tiết của người Cộng sản.

Năm 1936, Mặt trận Bình dân Pháp lên nắm chính quyền ở Pháp, do sức ép đấu tranh của dư luận, bọn thực dân Pháp ở Đông Dương buộc phải trả tự do cho nhiều tù chính trị, trong đó có Phan Bôi. Từ Côn Đảo trở về đất liền, đồng chí tham gia các phong trào đấu tranh đòi dân sinh, dân chủ ở quê hương Quảng Nam, Đà Nẵng, nhất là vận động thanh niên, học sinh, đón phái bộ do Gô-da dẫn đầu sang Đông Dương. Ngày 28.02.1937, phái bộ Gô-da đến Đà Nẵng. Nhân dân đã đứng chật ních hai bên đường. Đường bị tắc nghẽn. Gô-da phải đi bộ, đi đến đâu quần chúng theo đến đó, Phan Bôi đã dịch tất cả tài liệu tố cáo ách thống trị hà khắc của bọn thực dân Pháp ở Việt Nam sang tiếng Pháp và trực tiếp đưa kiến nghị của quần chúng cho phái bộ Gô-da ngay tại Tòa đốc lý Đà Nẵng.

Sau sự kiện này, Phan Bôi trở lại Hà Nội và sống tại nhà anh ruột là Phan Thanh để hoạt động và tham gia viết bài cho các báo công khai của Đảng như: Lao động, Tiếng nói của chúng ta, Dân chúng, Tin tức. Phan Bôi cũng là người trực tiếp chuyển những ý kiến của Đảng cho Phan Thanh trong việc đấu tranh nghị trường (bấy giờ Phan Thanh là dân biểu của Viện dân biểu Trung Kỳ do Đảng Cộng sản Đông Dương đưa vào).

Do các hoạt động trên, Phan Bôi bị bọn mật thám đưa vào danh sách những phần tử nổi loạn nguy hiểm ở Bắc Kỳ, cần cưỡng chế lao dịch tại một trung tâm nhất định theo sắc lệnh ngày 21.01.1940.

Tháng 5 năm 1940, Phan Bôi bị thực dân Pháp bắt và đưa đi an trí tại Trại Bắc Mê (huyện Vị Xuyên, tỉnh Hà Giang).

Đến tháng 11 năm 1941, Phan Bôi bị đưa về nhà lao Ninh Bình, sau đó cùng 11 người bị đày đi Madagascar (Châu Phi) – nơi từng giam giữ nhiều nhà yêu nước nổi tiếng của Việt Nam như Thành Thái, Duy Tân… Tại đây, Phan Bôi cùng bạn tù trao đổi về Chủ nghĩa MácLeNin, về duy tâm, duy vật; luôn tin tưởng vào sự thắng lợi cuối cùng của cách mạng Việt Nam và mong muốn ngày trở về Tổ quốc để góp phần giành độc lập cho nước nhà.

Tháng 11 năm 1942, quân Anh chiếm toàn bộ Madagascar, những người theo De Gaulle thay thế chính quyền Petain. Tháng 6 năm 1943, Phan Bôi được phóng thích khỏi Madagascar và được đưa sang Ấn Độ. Để có cơ hội về nước tham gia hoạt động cách mạng, được tổ chức Đảng trong nước đồng ý, Phan Bôi cùng 6 đồng chí khác cùng bị giam ở Madagascar nhận làm tình báo cho Anh. Phan Bôi và Lê Giản còn bí mật bắt nối liên lạc với Đảng Cộng sản Ấn Độ.

Gần cuối năm 1944, sau khi dự huấn luyện nghề tình báo, Phan Bôi được quân Anh đưa về Việt Nam. Nhảy dù xuống Cao Bằng, sau một thời gian bắt nói được với cơ sở, đồng chí được đưa về công tác ở cơ quan Trung ương Đảng. Nhóm tình báo được phép liên lạc với người Anh như kế hoạch ban đầu. Bác Hồ khuyên nhóm tình báo không cần thiết phải đốt dù và căn dặn có bắt liên lạc với Trung tâm chỉ huy ở Can-Cút-Ta(Ấn Độ) để xin thêm vũ khí, điện đài, thuốc chữa bệnh và vẫn công tác khuôn khổ mục tiêu chống phát xít.

Cách mạng tháng 8 năm 1945 thành công, Phan Bôi cùng một số đồng chí khác, trong đó có Phạm Văn Đồng được Bác Hồ phân công ở lại củng cố cơ sở, vì Người biết chắc rằng thế nào cuộc kháng chiến sẽ xảy ra ở vùng rừng núi này.